La universalità della linearità è forse il metodo più potente nella teoria della probabilità. Permette di calcolare il valore atteso della somma di variabili casuali semplicemente sommando i loro valori attesi individuali, indipendentemente dal fatto che tali variabili siano indipendenti, correlate o mutuamente esclusive.
1. Fondamenti e Proposizione 2.1
Per capire perché il valore atteso si comporta così linearmente, consideriamo Legge dello statistico inconsapevole (LOTUS) per i sistemi multivariati. Proposizione 2.1 afferma che se $X$ e $Y$ hanno una funzione di massa congiunta $p(x, y)$, allora il valore atteso di qualsiasi funzione $g(X, Y)$ è:
$$E[g(X, Y)] = \sum_{y} \sum_{x} g(x, y) p(x, y)$$
Per variabili continue con funzione densità congiunta $f(x, y)$, la forma equivalente integrale è:
$$E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) dx dy$$
2. Il principio di linearità
Applicando LOTUS alla funzione $g(X, Y) = X + Y$, deriviamo il teorema centrale di questo capitolo: $E[X + Y] = E[X] + E[Y]$. Questo si estende naturalmente a qualsiasi insieme finito:
$E\left[\sum_{i=1}^n X_i\right] = \sum_{i=1}^n E[X_i]$
Questo è "universale" perché non richiede alcuna ipotesi sulla distribuzione congiunta. Che le variabili siano indipendenti o fortemente dipendenti, la media della somma è la somma delle medie.
Esempio 2a: Il problema dell'ambulanza
Consideriamo un incidente nel punto $X$ su una strada di lunghezza $L$ e un'ambulanza nel punto $Y$, dove $X, Y \sim U(0, L)$ e sono indipendenti. Usiamo LOTUS multivariato per trovare $E[|X-Y|]$:
La funzione densità congiunta è $f(x, y) = 1/L^2$ per $0 \le x, y \le L$.
$$E[|X-Y|] = \int_0^L \int_0^L |x-y| \frac{1}{L^2} dx dy = \frac{L}{3}$$
3. Monotonia e limiti
Il valore atteso preserva l'ordine delle variabili casuali. Se $X \ge Y$ per tutti gli esiti, allora $E[X] \ge E[Y]$. Ciò segue da Esempio 2b: se $X - Y \ge 0$, allora $E[X - Y] \ge 0$. Inoltre, se una variabile è limitata in modo tale che $P\{a \le X \le b\} = 1$, allora segue che $a \le E[X] \le b$.
4. La media campionaria (Esempio 2c)
Siano $X_1, \dots, X_n$ un campione da una distribuzione con media $\mu$. La media campionaria è definita come:
$$\bar{X} = \sum_{i=1}^{n} \frac{X_i}{n}$$
Grazie alla linearità, $E[\bar{X}] = \frac{1}{n} \sum E[X_i] = \frac{n\mu}{n} = \mu$. Il valore atteso della media campionaria è $\mu$, dimostrando che è uno stimatore non distorto.
- Le $X_i$ sono tutte variabili casuali non negative.
- La serie è assolutamente convergente: $\sum_{i=1}^\infty E[|X_i|] < \infty$.